• Найти собственые значения матрицы и собственные вектора матрицы и объяснить их смысл.
• Проводить анализ главных компонент при помощи базовых функций R и функций из пакета vegan
• Оценивать долю дисперсии, объясненной компонентами
• Снизить размерность данных, оставив небольшое число компонент
• Интерпретировать смысл компонент по их факторным нагрузкам
• Строить ординацию объектов в пространстве главных компонент
• Создавать комплексные переменные и использовать их в других видах анализов

Скалярное произведение двух векторов

\[ \textbf{a} \bullet \textbf{b} = \begin{pmatrix} a_1 \\ a_3 \\ a_4 \\ a_5 \\ a_6 \\ a_7 \end{pmatrix} \times \begin{pmatrix} b_1 & b_3 & b_4 & b_5 & b_6 & b_7 \end{pmatrix} = x \]

Скалярное произведение может быть представлено в виде \[ =======

Скалярное произведение может быть представлено в виде\[ >>>>>>> f4f6f07776befedf6baa37689b33f32255360f65 \textbf{a} \bullet \textbf{b} = ||a|| \cdot ||b|| \cdot \cos \Theta \]

Если \(\Theta = 90^{\circ}\), то скалярное произведение равно нулю.
Важно! Те векторы, скалярное произведение которых равно нулю, называются ортогональными

Это матрица, все колонки которой являются ортогональными векторами Простейший пример ортогональной матрицы

Это матрица, все колонки которой являются ортогональными векторамиПростейший пример ортогональной матрицы

A <- matrix(c( 0,  0, 10,
               0,  5, 0,
               40, 0, 0  ), ncol = 3)

Свойство ортогональной матрицы: По главной диагонали произведения \(\textbf{A}\textbf{A}'\) будут располагаться квадраты длин векторов (столбцов)

Свойство ортогональной матрицы: По главной диагонали произведения \(\textbf{A}\textbf{A}'\) будут располагаться длины векторов (столбцов)

A %*% t(A)

##      [,1] [,2] [,3]
## [1,] 1600    0    0
## [2,]    0   25    0
## [3,]    0    0  100

\[ \textbf{c} = \textbf{b} \cdot 1/||\textbf{b}|| \]

Нормирование векторов, делает их длины равными единице.

Это матрицы все вектора (колонки) которой нормированы и при этом ортогональны.

normA <-  matrix(c( 0,  0, 1,
                    0,  1, 0,
                    1,  0, 0  ), ncol = 3)

Свойство ортонормальных матриц: \(\textbf{A}' = \textbf{A}^{-1}\)

solve(normA)

##      [,1] [,2] [,3]
## [1,]    0    0    1
## [2,]    0    1    0
## [3,]    1    0    0

t(normA)

##      [,1] [,2] [,3]
## [1,]    0    0    1
## [2,]    0    1    0
## [3,]    1    0    0

Матрица \(\pmb{\Lambda}\) называется канонической формой матрицы \(\textbf{A}\). Значения, располагающиеся по главной диагонали матрицы \(\pmb{\Lambda}\) называются собственными числами (eigen values) матрицы \(\textbf{A}\). Собственных чисел столько же, сколько признаков, т.е. столбцов в матрице \(\textbf{A}\).

Матрица \(\pmb{\Lambda}\) называется канонической формой матрицы \(\textbf{A}\).Значения, располагающиеся по главной диагонали матрицы \(\pmb{\Lambda}\) называются собственными числами (eigen values) матрицы \(\textbf{A}\). Собственных чисел столько же, сколько признаков, т.е. столбцов в матрице \(\textbf{A}\).

Связь между матрицей \(\textbf{A}\) и матрицей \(\pmb{\Lambda}\) осуществляется с помощью собственных векторов. Собственных векторов столько же, сколько и собственных чисел.

\[ \textbf{AV} = \textbf{V}\pmb{\Lambda} \]

Тогда

\[ \textbf{A} = \textbf{V}\pmb{\Lambda}\textbf{V}^{-1} \]

То есть, матрицу ассоциации можно представить в виде произведения двух "вспомогательных" матриц. При этом матрица \(\textbf{V}\) ортонормальная матрица, то есть \(\textbf{V}' = \textbf{V}^{-1}\).

##         Sp1 Sp2 Sp3 Sp4 Sp5
## Sample1 153 149 146 157 153
## Sample2 154 149 154 147 149
## Sample3 149 145 146 142 154
## Sample4 148 149 148 142 161
## Sample5 153 159 156 159 160
## Sample6 141 152 151 148 158
## Sample7 153 153 154 153 151

Найдем матрицу ассоциации признаков

A <- round(cor(Dat), 2)
A

##       Sp1  Sp2   Sp3   Sp4   Sp5
## Sp1  1.00 0.14  0.28  0.46 -0.51
## Sp2  0.14 1.00  0.79  0.73  0.37
## Sp3  0.28 0.79  1.00  0.44 -0.07
## Sp4  0.46 0.73  0.44  1.00 -0.05
## Sp5 -0.51 0.37 -0.07 -0.05  1.00

EIG <- eigen(A)
L <- EIG$values #Вектор собственных чисел
V <- EIG$vectors #Матрица собственных векторов

Матрица \(\textbf{V}\) ортонормальная матрица, то есть должно выполняться \(\textbf{V}' = \textbf{V}^{-1}\).
Проверим

round(t(V) - solve(V))

##      [,1] [,2] [,3] [,4] [,5]
## [1,]    0    0    0    0    0
## [2,]    0    0    0    0    0
## [3,]    0    0    0    0    0
## [4,]    0    0    0    0    0
## [5,]    0    0    0    0    0

Матрица ассоциации

A

##       Sp1  Sp2   Sp3   Sp4   Sp5
## Sp1  1.00 0.14  0.28  0.46 -0.51
## Sp2  0.14 1.00  0.79  0.73  0.37
## Sp3  0.28 0.79  1.00  0.44 -0.07
## Sp4  0.46 0.73  0.44  1.00 -0.05
## Sp5 -0.51 0.37 -0.07 -0.05  1.00

Восстановленная через собственные вектора и собственные числа матрица

round(V %*% diag(L) %*% t(V), 2)

##       [,1] [,2]  [,3]  [,4]  [,5]
## [1,]  1.00 0.14  0.28  0.46 -0.51
## [2,]  0.14 1.00  0.79  0.73  0.37
## [3,]  0.28 0.79  1.00  0.44 -0.07
## [4,]  0.46 0.73  0.44  1.00 -0.05
## [5,] -0.51 0.37 -0.07 -0.05  1.00

• Собственные вектора и собственные числа есть только у некоторых квадратных матриц
• У матрицы \(n \times n\) будет n собственных векторов
• Собственные вектора перпендикулярны друг другу (ортогональны)
• Собственные вектора задают направления в пространстве, вдоль которых дисперсия максимальна
• Первый собственны вектор, связан с первым собственным числом (максимальное значение \(\lambda_i\)), соответствует максимальной дисперсии, второй - чуть меньшей и т.д.

Migration by Don McCullough on Flickr

Migration by Don McCulloughon Flickr

black shadows for a white horses / les negres ombres dels cavalls blancs by Ferran Jordà on Flickr

black shadows for a white horses / les negres ombres dels cavalls blancs by Ferran Jordàon Flickr

Cat's shadow by Marina del Castell on Flickr

• Снижение размерности в многомерных данных
• сжатие изображений
• распознавание лиц
• анализ формы (геометрическая морфометрия)
• создание комплексных признаков для других анализов

\[ C = \begin{pmatrix} cov(x, x) & cov(x, y) & cov(x, z) \\ cov(y, x) & cov(y, y) & cov(y, z) \\ cov(z, x) & cov(z, y) & cov(y, z) \\ \end{pmatrix}\]

Поскольку дисперсия - это ковариация признака с самим собой

\[Cov(X, X) = \frac {\sum_{i = 1}^n{(x_i - \bar x)(x_i - \bar x)}}{n - 1} = \frac {\sum_{i = 1}^n{(x_i - \bar x)^2}}{n - 1} = SD^2\]

большая диагональ матрицы ковариаций содержит дисперсии признаков

\[ С = \begin{pmatrix} SD_x^2 & cov(x, y) & cov(x, z) \\ cov(y, x) & SD_y^2 & cov(y, z) \\ cov(z, x) & cov(z, y) & SD_z^2 \\ \end{pmatrix}\]

• Раз матрица ковариаций описывает изменчивость всех признаков, хорошо бы научиться находить с ее помощью максимально варьирующие направления…

Данные о размерах медуз Catostylus mosaicus из реки Хоксбери (Новый Южный Уэльс, Австралия). Часть медуз собрана на острове Дангар, другая - в заливе Саламандер.

Blubber jellies! by Kirsti Scott on Flickr

Blubber jellies! by Kirsti Scotton Flickr

SVD <-svd(jelly[,4:5])
U <- SVD$u
V <- SVD$v
D <- SVD$d

PCA - это частный случай SVD, в котором в качестве исходной матрицы взяты центрированные величины.

• PC1 - больше всего изменчивости
• PC2 - то, что осталось

Пример: Потребление белков в странах Европы с разными видами продуктов питания

Paleo Diet by zsoolt on Flickr

##    country      region redmeat whitemeat eggs milk fish cereals
## Al      Al     Balkans    10.1       1.4  0.5  8.9  0.2    42.3
## At      At    W Europe     8.9      14.0  4.3 19.9  2.1    28.0
## Be      Be    W Europe    13.5       9.3  4.1 17.5  4.5    26.6
## Bu      Bu     Balkans     7.8       6.0  1.6  8.3  1.2    56.7
## Cz      Cz    E Europe     9.7      11.4  2.8 12.5  2.0    34.3
## Dk      Dk Scandinavia    10.6      10.8  3.7 25.0  9.9    21.9
##    starch nuts frveg
## Al    0.6  5.5   1.7
## At    3.6  1.3   4.3
## Be    5.7  2.1   4.0
## Bu    1.1  3.7   4.2
## Cz    5.0  1.1   4.0
## Dk    4.8  0.7   2.4

• Постройте ординацию стран при помощи nMDS с использованием евклидова расстояния
• Постройте график ординации.
• Нанесите при помощи envfit вектора изменения исходных переменных.

library(vegan)
ord_nmds <- metaMDS(protein[, 3:ncol(protein)], distance = "euclidean", trace = 0)
ef <- envfit(ord_nmds, protein[, 3:ncol(protein)])
plot(ord_nmds, display = "site", type = "t", cex = 0.8)
plot(ef)

library(vegan)
prot_pca <- rda(protein[, -c(1, 2)], scale = TRUE)
summary(prot_pca)

Eigenvalues, and their contribution to the correlations 

Importance of components:
                         PC1    PC2    PC3    PC4     PC5     PC6  ...  
Eigenvalue            4.0064 1.6350 1.1279 0.9547 0.46384 0.32513 ...
Proportion Explained  0.4452 0.1817 0.1253 0.1061 0.05154 0.03613 ...
Cumulative Proportion 0.4452 0.6268 0.7521 0.8582 0.90976 0.94589 ...

• Не скоррелированы друг с другом (ортогональны)
• Вдоль компонент максимальный разброс
• Чем больше собственное число (Eigenvalue), тем больше дисперсия вдоль оси (Proportion Explained [variance])

• Эмпирические правила
  • Объясняют больше чем по Broken Stick Model.
  • Компоненты у которых соб. число > 1 (правило Кайзера-Гатмана)
  • В сумме объясняют заданный % от общей изменчивости (60-80%) - слишком субъективно

• Это условности!

Собственные числа можно добыть так:

eigenvals(prot_pca) # собственные числа

##  PC1  PC2  PC3  PC4  PC5  PC6  PC7  PC8  PC9 
## 4.01 1.63 1.13 0.95 0.46 0.33 0.27 0.12 0.10

bstick(prot_pca) # ожидаемое по Brocken Stick Model

##   PC1   PC2   PC3   PC4   PC5   PC6   PC7   PC8   PC9 
## 2.829 1.829 1.329 0.996 0.746 0.546 0.379 0.236 0.111

Внимание! Координаты объектов или переменных можно получить в нескольких вариантах, отличающихся масштабом. От этого масштаба будет зависеть интерпретация.

biplot(prot_pca, display = "species", scaling = 2)

• исходные признаки - количественные, нормально распределенные переменные, связанные друг с другом линейно. Для ординации объектов с такими признаками подходит PCA. Для описания различий между объектами подходит евклидово расстояние
• для данной nMDS-ординации использовано евклидово расстояние
• расстояния между объектами на любой ординации PCA соответствуют их евклидовым расстояниям в пространстве главных компонент

Факторные координаты - это новые составные признаки, которых можно использовать вместо исходных переменных

Свойства факторных координат:

• Среднее = 0, Дисперсия = 1
• Не коррелируют друг с другом

Применение:

• Уменьшение числа зависимых переменных - для дисперсионного анализа
• Уменьшение числа предикторов - во множественной регрессии

##        PC1     PC2     PC3
## Al  0.9091 -0.4253 -0.4594
## At -0.3711 -0.2716  0.3490
## Be -0.4231  0.0416  0.0565
## Bu  0.8175 -0.3394  0.0395
## Cz -0.0966 -0.1572  0.3120
## Dk -0.6170  0.0745 -0.1962

# Значения факторов (= факторные координаты)
df <- data.frame(region = protein$region,
  scores(prot_pca, display = "sites", choices = c(1, 2, 3), scaling = 1))
mod <- lm(PC1 ~ region, data = df)
anova(mod)

## Analysis of Variance Table
## 
## Response: PC1
##           Df Sum Sq Mean Sq F value       Pr(>F)    
## region     5   5.97    1.19    39.3 0.0000000022 ***
## Residuals 19   0.58    0.03                         
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

• Регионы Европы различаются по потреблению мяса, злаков и орехов

• Условия применимости дисперсионного анализа выполняются

TukeyHSD(aov(mod))

##   Tukey multiple comparisons of means
##     95% family-wise confidence level
## 
## Fit: aov(formula = mod)
## 
## $region
##                              diff     lwr     upr p adj
## E Europe-Balkans          -0.8307 -1.2001 -0.4614 0.000
## Iberian-Balkans           -0.4541 -0.9309  0.0227 0.067
## Mediterranean-Balkans     -0.3555 -0.8323  0.1214 0.221
## Scandinavia-Balkans       -1.2740 -1.6633 -0.8847 0.000
## W Europe-Balkans          -1.2905 -1.6276 -0.9533 0.000
## Iberian-E Europe           0.3766 -0.0840  0.8372 0.150
## Mediterranean-E Europe     0.4753  0.0146  0.9359 0.041
## Scandinavia-E Europe      -0.4433 -0.8126 -0.0740 0.013
## W Europe-E Europe         -0.4597 -0.7736 -0.1459 0.002
## Mediterranean-Iberian      0.0987 -0.4519  0.6492 0.992
## Scandinavia-Iberian       -0.8199 -1.2967 -0.3431 0.000
## W Europe-Iberian          -0.8363 -1.2716 -0.4011 0.000
## Scandinavia-Mediterranean -0.9186 -1.3954 -0.4418 0.000
## W Europe-Mediterranean    -0.9350 -1.3703 -0.4998 0.000
## W Europe-Scandinavia      -0.0164 -0.3536  0.3207 1.000

• Применение метода главных компонент (PCA):
• снижение размерности данных
• исследование связей между переменными
• построение ординации объектов
• создание комплексных переменных
• Терминология:
• Собственные числа - вклад компонент в общую изменчивость
• Факторные нагрузки - корреляции исходных переменных с компонентами - используются для интерпретации
• Значения факторов - новые координаты объектов в пространстве уменьшенной размерности

• Borcard, D., Gillet, F., Legendre, P., 2011. Numerical ecology with R. Springer.
• Legendre, P., Legendre, L., 2012. Numerical ecology. Elsevier.
• Oksanen, J., 2011. Multivariate analysis of ecological communities in R: vegan tutorial. R package version 2–0.
• The Ordination Web Page [WWW Document], n.d. URL http://ordination.okstate.edu/ (accessed 10.21.13).
• Quinn, G.G.P., Keough, M.J., 2002. Experimental design and data analysis for biologists. Cambridge University Press.
• Zuur, A.F., Ieno, E.N., Smith, G.M., 2007. Analysing ecological data. Springer.